符号音乐的生成依赖于生成模型的上下文表示功能，其中最普遍的方法是基于变压器的模型。音乐背景的学习也与音乐中的结构元素，即介绍，诗歌和合唱有关，这些元素目前被研究界忽略了。在本文中，我们提出了一个分层变压器模型，以学习音乐中的多尺度上下文。在编码阶段，我们首先设计了一个片段范围定位层，以将音乐结合到和弦和部分中。然后，我们使用多尺度的注意机制来学习笔记，和弦和部分级别的上下文。在解码阶段，我们提出了一个层次变压器模型，该模型使用精细编码器并行生成部分和粗编码器来解码组合音乐。我们还设计了音乐风格的标准化层，以在生成的部分之间实现一致的音乐风格。我们的模型在两个开放的MIDI数据集上进行了评估，实验表明我们的模型优于当代音乐生成模型。更令人兴奋的是，视觉评估表明，我们的模型在旋律重复使用方面表现出色，从而产生了更现实的音乐。
translated by 谷歌翻译
由B5G和6G技术驱动，多网络融合是未来通信的不可或缺的趋势。在本文中，我们专注于并分析\弹性{卫星 - 地面下行链路传输}（STDT）的\ emph {安全性能}（sp）。这里，STDT由卫星网络和具有合法移动接收器的车辆网络和移动窃听器分配来组成。为了从移动终端的角度理解分析该系统的SP，采用随机几何论，这假设两个地面车辆在卫星的一个光束中随机分布。此外，基于该理论，STDT中的两个关键和特定指标的闭合形式分析表达分别来源，秘密中断概率和遍历秘密能力。另外，讨论了限制STDT的SP的若干相关变量，并提出了特定方案以增强SP。然后，在高信噪比场景中研究了渐近性，并给出了准确和渐近的闭合形式表达式。最后，仿真结果表明，在保证STDT可靠性的前提下，渐近解决方案优于相应的准确结果，显着提高了效果。
translated by 谷歌翻译
2021-11-29
在这项工作中，我们提出了一个新的和一般的框架来防御后门攻击，灵感来自攻击触发器通常遵循\ textsc {特定}类型的攻击模式，因此，中毒训练示例在彼此期间对彼此产生更大的影响训练。我们介绍了{\ IT影响图}的概念，它包括分别代表各个训练点和相关的对方式的节点和边缘组成。一对训练点之间的影响代表了去除一个训练点对另一个训练点的影响，由影响函数\ citep {koh2017understanding}近似。通过查找特定大小的最大平均子图来提取恶意训练点。关于计算机视觉和自然语言处理任务的广泛实验证明了所提出的框架的有效性和一般性。
translated by 谷歌翻译
后门攻击对NLP模型构成了新的威胁。在后门攻击中构建中毒数据的标准策略是将触发器（例如，稀有字）插入所选句子，并将原始标签更改为目标标签。该策略具有从触发器和标签视角轻松检测到的严重缺陷：注入的触发器，通常是一种罕见的单词，导致异常的自然语言表达，因此可以通过防御模型容易地检测到异常的自然语言表达;改变的目标标签会导致误报标记的示例，因此可以通过手动检查容易地检测到。要处理此问题，请在本文中，我们提出了一种新的策略来执行不需要外部触发的文本后门攻击，并且中毒样品被正确标记。拟议策略的核心思想是构建清洁标记的例子，其标签是正确的，但可以导致测试标签在与培训集合融合时的变化。为了产生中毒清洁标记的例子，我们提出了一种基于遗传算法的句子生成模型，以满足文本数据的不可微差特性。广泛的实验表明，拟议的攻击策略不仅有效，而且更重要的是，由于其令人触发和清洁的性质，难以防御。我们的工作标志着在NLP中开发令人触发的攻击策略的第一步。
translated by 谷歌翻译
分销（OOD）检测是自然语言处理（NLP）中的重要问题。在这项工作中，我们提出了一个简单但有效的框架$ k $ $折叠，模仿培训期间ood检测的行为而不使用任何外部数据。对于以$ k $培训标签的任务，$ k $ folden诱导$ k $子模型，每个款式在子集上培训，以$ k-1 $类别培训，左类别未知为子模型。将未知的标签暴露于培训期间的子模型，鼓励模型学会将其与未知标签的可见$ k-1 $标签的概率同样归因于此，使此框架能够同时解析和输出示例通过ood模拟以自然的方式。将文本分类作为原型，我们使用现有文本分类数据集开发用于OOD检测的基准。通过对开发的基准进行全面的比较和分析，我们在提高ood检测性能的过程中展示了当前方法的优势，同时保持改善的域分类准确性。可以找到代码和数据集：\ url {https://github.com/shannonai/kfolden-ood-detection}。
translated by 谷歌翻译
在拒绝的环境中进行搜索对于群体机器人来说是具有挑战性的，因为不允许GNSS，映射，数据共享和中央处理的帮助。但是，使用嗅觉和听觉像动物一样合作可能是改善群体合作的重要方法。在本文中，提出了一群自主机器人来探索拒绝环境的嗅觉审计算法算法（OA-BUG）。构建了一个模拟环境，以衡量OA-BUG的性能。使用OA-BUG的搜索任务覆盖范围可以达到96.93％，与类似的算法SGBA相比，最大的40.55％提高了40.55％。此外，在实际的群机器人上进行了实验，以证明OA-BUG的有效性。结果表明，OA-BUG可以在被拒绝的环境中改善群体机器人的性能。
translated by 谷歌翻译
热应力和变形的快速分析在热控制措施和卫星结构设计的优化中起着关键作用。为了实现卫星主板的实时热应力和热变形分析，本文提出了一种新型的多任务注意UNET（MTA-UNET）神经网络，将多任务学习（MTL）和U-NET的优势结合在一起注意机制。此外，在训练过程中使用了物理知识的策略，其中部分微分方程（PDE）被整合到损失函数中作为残留项。最后，将基于不确定性的损失平衡方法应用于重量的多个培训任务的不同损失功能。实验结果表明，与单任务学习（STL）模型相比，提出的MTA-UNET有效提高了多个物理任务的预测准确性。此外，物理信息的方法在每个任务的预测中的错误较小，尤其是在小型数据集上。代码可以在：\ url {https://github.com/komorebitso/mta-unet}下载。
translated by 谷歌翻译
在卫星布局设计中，热源布局优化（HSLO）是一种有效的技术，可降低最高温度并改善整个系统的热量管理。最近，已经提出了深度学习的替代辅助HSLO，该辅助辅助HSLO从布局到相应的温度场进行了映射，以便在优化过程中替换仿真以大大降低计算成本。但是，它面临两个主要挑战：1）特定任务的神经网络代理通常是手动设计的，这是复杂的，需要丰富的调试经验，这对工程领域的设计师来说是具有挑战性的； 2）现有的HSLO算法只能在单个优化中获得几乎最佳的解决方案，并且很容易被捕获以局部最佳限制。为了应对第一个挑战，考虑减少总参数编号并确保相似的准确性以及与特征金字塔网络（FPN）框架相结合的神经体系结构搜索（NAS）方法，以实现自动搜索小型搜索的目的深度学习的替代模型。为了应对第二项挑战，提出了一种基于多模式搜索的布局优化算法（MNSLO），该算法（MNSLO）可以单一优化同时获得更多，更好的近似最佳设计方案。最后，利用了两个典型的二维热传导优化问题来证明该方法的有效性。具有相似的精度，NAS找到了比原始FPN的参数少80％，拖失板少64％和36％的模型。此外，在自动搜索的深度学习代理人的帮助下，MNSLO可以同时实现多个接近最佳的设计方案，以为设计师提供更多的设计多样性。
translated by 谷歌翻译
基于$ K $ NN的神经电机翻译（$ K $ NN-MT）已经实现了最先进的MT任务。 $ k $ nn-mt的一个重要缺点在于识别来自整个数据存储的查询表示的$ k $最近邻居的效率低下，这在数据存储大小大的情况下是毫无疑问的。在这项工作中，我们提出\ TextBF {更快$ k $ nn-mt}来解决这个问题。更快的k $ nn-mt的核心思想是使用分层聚类策略来近似数据存储区中的查询和数据点之间的距离，该数据点被分解为两个部分：查询与中心之间的距离群集数据点属于，以及数据点与群集中心之间的距离。我们提出了实际的方法来以明显更快的方式计算这两个部分。通过对不同的MT基准测试的大量实验，我们展示了\ TextBF {更快$ K $ NN-MT}速度快于Fast $ K $ NN-MT \ CITEP {Meng2021Fast}，只略微（1.2次）比其香草对应物慢保持模型性能为$ k $ nn-mt。更快$ k $ nn-mt，可以在现实世界MT服务上部署$ K $ NN-MT模型。
translated by 谷歌翻译
在这项工作中，由{\它复制的概念更容易记住}的概念，我们介绍了GNN-LM，它通过允许在整个训练语料库中引用类似的上下文来扩展Vanilla神经语言模型（LM）。我们在输入上下文和从训练语料库中选择的语义相关邻居之间构建一个定向的异构图，其中节点是输入上下文中的令牌和检索到的邻居上下文，并且边缘表示节点之间的连接。图形神经网络（GNNS）在图表上构建，以聚合来自类似上下文的信息来解码令牌。此学习范例提供了直接访问参考上下文，并有助于提高模型的泛化能力。我们进行全面的实验以验证GNN-LM的有效性：GNN-LM在Wikitext-103上实现了14.8的新的最先进的困惑（在Vanilla LM模型的对应于的4.5点改进）和显示对强大基线的十亿个单词和enWiki8数据集进行大量改进。进行深度消融研究以了解GNN-LM的机制。可以在\ url {https://github.com/shannonai/gnn-lm}中找到代码}
translated by 谷歌翻译